
package rafthttp

import (
	"bytes"
	"context"
	"io"
	"net/http"
	"time"

	"go.etcd.io/etcd/client/pkg/v3/types"
	"go.etcd.io/etcd/pkg/v3/httputil"
	pioutil "go.etcd.io/etcd/pkg/v3/ioutil"
	"go.etcd.io/etcd/raft/v3"
	"go.etcd.io/etcd/server/v3/etcdserver/api/snap"

	"github.com/dustin/go-humanize"
	"go.uber.org/zap"
)

var (
	// 读取快照响应正文的超时
	snapResponseReadTimeout = 5 * time.Second
)

// etcd提供的v3版本中，开始使用snapshotSender传输快照数据
type snapshotSender struct {
	from, to types.ID	// 记录当前节点的ID及对端节点的ID。
	cid      types.ID	// 记录当前集群的ID
	tr     *Transport	// 关联的Transport实例。
	picker *urlPicker	// 负责获取对端节点可用的URL地址
	status *peerStatus
	r      Raft	// 底层的Raft状态机
	errorc chan error
	stopc chan struct{}
}

func newSnapshotSender(tr *Transport, picker *urlPicker, to types.ID, status *peerStatus) *snapshotSender {
	return &snapshotSender{
		from:   tr.ID,
		to:     to,
		cid:    tr.ClusterID,
		tr:     tr,
		picker: picker,
		status: status,
		r:      tr.Raft,
		errorc: tr.ErrorC,
		stopc:  make(chan struct{}),
	}
}

func (s *snapshotSender) stop() { close(s.stopc) }

func (s *snapshotSender) send(merged snap.Message) {
	start := time.Now()

	m := merged.Message
	to := types.ID(m.To).String()
	// 根据传入的snap.Message实例创建请求body
	body := createSnapBody(s.tr.Logger, merged)
	defer body.Close()

	u := s.picker.pick()	// 选择对揣节点可用的URL地址
	// 创建请求，注意，这里请求的路径是”／raft/snapshot”，而pipeline发出的请求对应的路径是”／raft"
	req := createPostRequest(s.tr.Logger, u, RaftSnapshotPrefix, body,
		"application/octet-stream", s.tr.URLs, s.from, s.cid)

	snapshotSizeVal := uint64(merged.TotalSize)
	snapshotSize := humanize.Bytes(snapshotSizeVal)
	if s.tr.Logger != nil {
		s.tr.Logger.Info(
			"sending database snapshot",
			zap.Uint64("snapshot-index", m.Snapshot.Metadata.Index),
			zap.String("remote-peer-id", to),
			zap.Uint64("bytes", snapshotSizeVal),
			zap.String("size", snapshotSize),
		)
	}

	snapshotSendInflights.WithLabelValues(to).Inc()
	defer func() {
		snapshotSendInflights.WithLabelValues(to).Dec()
	}()

	err := s.post(req)	// 发送请求
	defer merged.CloseWithError(err)
	// 异常处理过程与pipeline的实现类似，会将此次请求的URL设立为不用，
	//然后调用ReportUnreachable（）方法通知底层的etcd-raft模决对端节点不可达,
	// 再调用ReportSnapshot（）方法将此次发送失败的信息通知底层etcd-raft模块
	if err != nil {
		if s.tr.Logger != nil {
			s.tr.Logger.Warn(
				"failed to send database snapshot",
				zap.Uint64("snapshot-index", m.Snapshot.Metadata.Index),
				zap.String("remote-peer-id", to),
				zap.Uint64("bytes", snapshotSizeVal),
				zap.String("size", snapshotSize),
				zap.Error(err),
			)
		}

		// errMemberRemoved是一个严重错误，因为删除的成员应始终停止。因此，我们使用reportCriticalError将其报告给errorc。
		if err == errMemberRemoved {
			reportCriticalError(err, s.errorc)
		}

		s.picker.unreachable(u)
		s.status.deactivate(failureType{source: sendSnap, action: "post"}, err.Error())
		s.r.ReportUnreachable(m.To)
		// 向raft状态机报告快照失败。raft状态
		// 机器知道后，会暂停一段时间，然后重试发送
		// 新快照消息。
		s.r.ReportSnapshot(m.To, raft.SnapshotFailure)
		sentFailures.WithLabelValues(to).Inc()
		snapshotSendFailures.WithLabelValues(to).Inc()
		return
	}
	s.status.activate()
	// 通知底层的etcd-raft模块，此次成功发送快照数据
	s.r.ReportSnapshot(m.To, raft.SnapshotFinish)

	if s.tr.Logger != nil {
		s.tr.Logger.Info(
			"sent database snapshot",
			zap.Uint64("snapshot-index", m.Snapshot.Metadata.Index),
			zap.String("remote-peer-id", to),
			zap.Uint64("bytes", snapshotSizeVal),
			zap.String("size", snapshotSize),
		)
	}

	sentBytes.WithLabelValues(to).Add(float64(merged.TotalSize))
	snapshotSend.WithLabelValues(to).Inc()
	snapshotSendSeconds.WithLabelValues(to).Observe(time.Since(start).Seconds())
}

// snapshotSender.post（）方法是真正完成快照数据发送的地方
func (s *snapshotSender) post(req *http.Request) (err error) {
	// 对请求进行一系列的封装
	ctx, cancel := context.WithCancel(context.Background())
	req = req.WithContext(ctx)
	defer cancel()

	type responseAndError struct {
		resp *http.Response
		body []byte
		err  error
	}
	// 该通道用于返回该请求对应的响应（或是异常信息）
	result := make(chan responseAndError, 1)

	go func() {	// 启动一个单独的goroutine，用于发送请求并读取响应
		resp, err := s.tr.pipelineRt.RoundTrip(req)	// 发送请求
		if err != nil {
			// 将异常写入result通道中
			result <- responseAndError{resp, nil, err}
			return
		}
		// 超时处理
		time.AfterFunc(snapResponseReadTimeout, func() { httputil.GracefulClose(resp) })
		body, err := io.ReadAll(resp.Body)	// 读取响应数据
		// 将响应数据进行封装，并写入result通道中
		result <- responseAndError{resp, body, err}
	}()

	select {
	case <-s.stopc:
		return errStopped
	case r := <-result:	// 读取result通道，获取响应信息
		if r.err != nil {
			return r.err
		}
		return checkPostResponse(s.tr.Logger, r.resp, r.body, req, s.to)
	}
}

func createSnapBody(lg *zap.Logger, merged snap.Message) io.ReadCloser {
	buf := new(bytes.Buffer)
	enc := &messageEncoder{w: buf}
	// 编码raft消息
	if err := enc.encode(&merged.Message); err != nil {
		if lg != nil {
			lg.Panic("failed to encode message", zap.Error(err))
		}
	}

	return &pioutil.ReaderAndCloser{
		Reader: io.MultiReader(buf, merged.ReadCloser),
		Closer: merged.ReadCloser,
	}
}
